Tên gọi

Hùng Sơn nghĩa là "núi của các vua Hùng", nơi mà mấy nghìn năm trước đây nằm trong ranh giới nền văn hóa Văn Lang thuộc kinh đô Văn Lang, nơi các vua Hùng Vương cai trị.

Vị trí thị trấn Hùng Sơn ngày nay thời thời Hùng Vương dựng nước thuộc bộ Văn Lang.

Thời Đinh - Lý thuộc huyện Sơn Vi.

Thời thuộc Minh vẫn gọi là huyện Sơn Vi thuộc Phủ Tam Giang.

Đời Lê Thánh Tông khi định bản đồ toàn quốc (1469) đặt huyện Sơn Vi thuộc Phủ Thao Giang (đời Lê Trung Hưng đổi gọi là Phủ Lâm Thao).

Đời Nguyễn thuộc đất hai xã Chu Hóa và Hi Cương thuộc tổng Chu Hóa, huyện Sơn Vi, phủ Lâm Thao, tỉnh Sơn Tây cho đến khi thành lập tỉnh Phú Thọ năm 1903 thì thuộc về tỉnh Phú Thọ.

Một bước ngoặt đánh dấu cho sự ra đời của thị trấn Hùng Sơn sau này chính là việc khởi công xây dựng Nhà máy Supe phosphat Lâm Thao (nay là Công ty cổ phần Supe phosphat và Hóa chất Lâm Thao) ngày 8 tháng 6 năm 1959 và đi vào vận hành ngày 24 tháng 6 năm 1962.

Trước khi thị trấn được xây dựng, đây là vùng đất đá mấp mô, dân cư thưa thớt.

Thị trấn Hùng Sơn được thành lập trên cơ sở:

• Điều chỉnh 117,40 ha diện tích tự nhiên và 3.532 người của xã Hy Cương
• Điều chỉnh 200,20 ha diện tích tự nhiên và 2.754 người của xã Tiên Kiên
• Điều chỉnh 152,40 ha diện tích tự nhiên và 3.158 người của xã Chu Hóa
• Thị trấn Hùng Sơn có 470 ha diện tích tự nhiên và dân số là 9.444 người.

Sau khi điều chỉnh địa giới hành chính thành lập thị trấn Hùng Sơn:

• Xã Hy Cương còn lại 704,47 ha diện tích tự nhiên và 4.292 người
• Xã Tiên Kiên còn lại 1.062,38 ha diện tích tự nhiên và 6.619 người
• Xã Chu Hóa còn lại 859,36 ha diện tích tự nhiên và 5.733 người.